Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search
静态检索效用无法预测多步 Agent 搜索中的因果效用
🧭 多步 Agent 搜索中的检索效用评估
University of Calcutta · Missouri University of Science and Technology
在多步 Agent 搜索中，静态低相关文档可能通过提供区分性实体成为关键的“桥梁证据”，静态效用与因果效用近乎独立。
📌 工作参考价值（4 点）
- 构建 Agent 检索模块时，不能用传统静态指标（如 NDCG）评估文档价值，应引入反事实评估（移除文档观察最终答案变化）来识别“桥梁文档”。
- 在电商对话助手等多步 Agent 场景，重视文档的“行动效用”：设计机制让 Agent 从文档中提取区分性实体（如属性、品牌），用于重定向后续搜索。
- 借鉴 CTU 指标（综合最终答案质量、下一步检索质量、步数变化）来全面衡量文档对 Agent 轨迹贡献，而不只看单步问答匹配。
- 训练检索模型时，可利用 Agent 交互数据生成反事实效用标签，直接学习检索对最终任务有用的文档，而非仅优化静态相关性。